1 西安建筑科技大学 信息与控制工程学院，陕西西安70055
2 建筑机器人陕西省高等学校重点实验室，陕西西安710055
3 西安市建筑制造智动化技术重点实验室，陕西西安710055
针对混凝土表面裂缝分割过程中分割精度低、细微裂缝漏分和背景干扰等问题，提出一种联合线性引导和网格优化的裂缝分割模型。首先，在主干网络中引入多分支线性引导模块，通过自适应单维度池化增强网络对裂缝线性结构的表达能力，让不同区域的裂缝建立联系，增强全局上下文信息感知能力，提高网络分割精度；然后，提出网格细节优化模块，通过分区-优化-合并三步骤，将整个空间域划分为若干个空间网格，提取空间网格中的细微裂缝信息，防止细微裂缝漏分；最后，在主干网络的跳跃连接处嵌入混合注意力模块，在空间和通道双维度突出裂缝特征，减少背景干扰。在Deepcrack537，Crack500和CFD裂缝数据集上，所提模型的IoU值分别达到77.07%，58.96%和56.55%，F1-score值分别达到87.05%，74.19%和72.24%，明显优于大多数现有方法，具有更高的分割精度。
裂缝图像 线性引导 语义分割 网格优化 注意力机制 crack image linear guide semantic segmentation mesh optimization attention mechanism
兰州交通大学电子与信息工程学院，甘肃兰州 730070
目前，红外与可见光图像融合算法依然存在着对复杂场景适用性低、融合图像细节纹理信息大量丢失、对比度与清晰度不高等问题，针对上述存在的问题，本文结合非下采样剪切波变换（ Non-Subsampled Shearlet Transform, NSST）、残差网络（ Residual Network, ResNet）与生成对抗网络（Generative Adversarial Network, GAN）提出一种 N-RGAN模型。通过 NSST变换将红外与可见光图像分解为高频子带和低频子带；对高频子带进行拼接并输入由残差模块改进过的生成器，并将源红外图像作为判决标准，以此提升网络融合性能与融合图像细节刻画以及目标凸显能力；对红外图像与可见光图像进行显著性特征提取，通过自适应加权对低频子带进行融合，提升图像对比度与清晰度；对高频子带的融合结果与低频子带的融合结果进行 NSST逆变换，从而得到红外与可见光图像的融合结果。通过与各类算法的融合结果进行对比，本文所提方法在峰值信噪比（ Peak Signal to Noise Ratio, PSNR）、平均梯度（ Average Gradient, AVG）、图像熵（ Image Entropy, IE）、空间频率（ Spatial Frequency, SF）、边缘强度（ Edge Strength, ES）、图像清晰度（ Image Clarity, IC）等多个客观指标上均有提高，可提升复杂场景下的红外与可见光图像融合效果，改善图像细节纹理信息损失严重的问题，同时提升图像对比度与清晰度。
图像融合 红外与可见光图像 显著性特征提取 非下采样剪切波变换 残差网络 生成对抗网络 image fusion, infrared and visible images, salient
西安建筑科技大学 信息与控制工程学院，陕西西安710055
遥感目标具有较大的尺度差异性，针对其在复杂背景干扰下易导致细粒度级别多尺度特征提取困难、预测部分有效表征较弱的问题，本文基于无锚框思想，提出一种多元特征提取与表征优化的遥感多尺度目标检测方法（Multivariate Feature extraction and Characterization optimization，MFC）。在特征提取部分，设计多元特征提取模块（Multivariate Feature Extraction，MFE）挖掘细粒度级别的多尺度特征，通过分组操作及跨组连接的方式扩大感受野、增强多个特征尺度的组合效应，并联合上下文信息进一步加强对小目标的关注；采用深层聚合结构对深浅层特征进行充分融合，以获得更全面的特征表达。在预测部分，提出一种表征优化策略（Characterization Optimization Strategy，COS），利用椭圆型映射进行标签优化以适应具有较大纵横比的遥感目标，设计坐标像素注意力组合关注多尺度目标通道、位置及像素信息，减少复杂背景干扰，使有效信息得以突出表征。在DIOR，HRRSD，RSOD数据集上进行消融及对比实验，实验结果表明：MFC模型的mAP分别达到了70.9%，90.2%和96.9%，优于大多现有方法，有效改善了误检、漏检问题，适应性和鲁棒性较强。
遥感多尺度目标 无锚框 多元特征 表征优化 注意力 remote sensing of multi-scale targets anchor-free multivariate feature characterization optimization attention 光学 精密工程
2023, 31(16): 2465
西安建筑科技大学信息与控制工程学院，陕西 西安 710055
Overview: In many scenes in real life, collecting high-quality images is one of the key factors to achieve high accuracy in object detection, image segmentation, automatic driving, medical surgery, and other works. However, images and videos collected by electronic devices are very vulnerable to various environmental factors, such as poor lighting, resulting in low image brightness, color distortion, more noise, effective details, and texture information loss, which brings many difficulties to subsequent tasks and works. The enhancement of low-illumination images generally restores image clarity by increasing brightness, removing noise, and restoring image color. In recent years, the depth neural network has had a strong nonlinear fitting ability, which has achieved good results in low illumination enhancement, image deblurring, and other fields. However, the existing low illumination image enhancement algorithms will lead to color imbalance when improving image brightness and contrast, and easily ignore the impact of some noises. Based on the above questions, this paper proposes an image enhancement method with parallel mixed attention step-by-step fusion. With the aid of the limited correlation between local features extracted by weighting different multi-scale branches, the local image details under multiple receptive fields can complement each other, and use parallel mixed attention to focus on color information and lighting features at the same time, which effectively improves the detail representation of the network and reduces noises. Finally, shallow feature information is fused in multiple stages. In order to alleviate the model confusion caused by the weakening of color information expression and single-stage feature superposition caused by the increase of network depth. The ablation experiment, module multi-stage experiment, and multiple evaluation indexes are compared with the existing advanced methods on four commonly used datasets, which fully proves that the method proposed in this paper is superior to the comparison methods on multiple evaluation parameters, and can effectively improve the overall brightness of the image, adjust the image color imbalance and remove noises. Combining the follow-up research task of the subject and analyzing the shortcomings of the network, a way to simplify the model and improve the operation speed will be the key direction of the follow-up research task.
图像增强 多尺度加权聚合 并行混合注意力 渐进融合 信息冗余 image enhancement multiscale weighted aggregation parallel hybrid attention progressive integration information redundancy
1 西安建筑科技大学 信息与控制工程学院，陕西西安70055
2 西安市建筑制造智动化技术重点实验室， 陕西西安710055
针对遥感图像建筑物易受背景中道路、树木、阴影干扰而导致分割边界不清晰的问题，提出了一种融合分形几何特征的Resnet网络。所提模型基于编码-解码框架，以Resnet网络为主干网络，在编码阶段中引入融合分形先验的空洞空间金字塔池化模块（FD-ASPP），利用分形维数捕获遥感图像的分形特征，增强了Resnet网络的几何特征描述能力。解码阶段提出一种深度可分离卷积注意力融合机制（DSCAF），有效融合高层次特征和低层次特征，获取更加丰富的遥感图像语义信息和位置细节信息。在WHU遥感图像数据集上的实验表明，精确率达到0.944 8，召回率达到0.946 2，F1分数达到0.945 5，平均交并比mIoU达到0.941 5。所提模型与FCN、Segnet、Deeplab V3、U-net、SETR和AlignSeg等现有建筑物遥感语义分割模型相比，具有更好的分割精度，有效克服了道路、树木、阴影等因素的干扰，得到了较清晰的建筑物边界。
遥感图像 建筑物分割 残差网络 分形维数 特征融合 remote sensing image building segmentation Resnet fractal dimension feature fusion 光学 精密工程
2022, 30(16): 2006
1 西安建筑科技大学 信息与控制工程学院，陕西西安70055
2 中科星图空间技术有限公司，陕西西安710199
人群密度估计与计数是指对拥挤场景中人群分布及数量进行统计，对安全系统、交通控制等具有重要意义。针对高密度图像在人群密度估计中特征提取困难、空间语义信息获取较难、特征融合不充分等问题，本文提出一种多元信息聚合人群密度估计方法（Multivariate information aggregation，MIA）。首先，设计多元信息提取网络，采用VGG-19作为骨架网络提高特征提取深度，利用多层语义监督策略编码低层特征方式提高低层特征的语义表达，通过空间信息嵌入丰富高层特征空间信息表征；其次，设计多尺度上下文信息聚合网络，通过两个带有步长卷积的轻量级空洞空间金字塔池化（Simplify-atrous spatial pyramid pooling，S-ASPP）结构在进行全局多尺度上下文信息聚合的同时缓解模型参数冗余；最后，网络末端采用步长卷积，在不影响精度的前提下加快网络运行速度。采用ShanghaiTech、UCF-QNRF、NWPU数据集进行对比实验，实验结果表明：在典型数据集ShanghaiTech的Part_A部分上的MAE、MSE分别为59.4、96.2，Part_B部分分别为7.7、11.9；超高密度多视角场景数据集UCF-QNRF的MAE为89.3，MSE为164.5；NWPU数据集的MAE为87.9，MSE为417.2。本文方法较对比方法性能有一定提升，且实际场景应用结果验证了本文方法效果较好。
人群密度估计 语义监督 空间信息嵌入 信息聚合 步长卷积 crowd density estimation semantic supervision spatial embedding information aggregation step-size convolution 光学 精密工程
2022, 30(10): 1228
1 西安建筑科技大学信息与控制工程学院，陕西 西安 710055
2 人工智能与数字经济广东省实验室（广州），广东 广州 510320
针对自然场景下混凝土裂缝背景复杂、纹理多变所造成的裂缝分割不准确问题，提出了一种基于特征增强整体嵌套网络裂缝检测算法。首先，在整体嵌套网络，一种深度学习边缘检测网络的基础上，采用多尺度监督机制融合不同尺度混凝土裂缝的预测结果，增强网络对混凝土裂缝线性拓扑结构的表达能力；然后，采用一种卷积-反卷积特征融合模块将混凝土裂缝的反卷积深层语义特征和卷积浅层细节特征有效融合，深层语义特征可以减少复杂背景干扰并提高模糊裂缝区域特征响应，浅层特征可以提高裂缝细节表达能力，进而提高裂缝特征质量；最后，提出了混合空洞卷积边界细化模块，该模块利用残差网络和空洞卷积组细化裂缝边界，从而提高裂缝分割准确性。在数据集Bridge_Crack_Image_Data和Crack Forest Dataset上进行了测试，所提算法的准确率分别达到了92.1%和91.6%，分数分别达到了80.2%和91.1%。实验结果表明，所提算法在复杂自然环境下可获得稳定而准确的分割结果，具有较强的泛化性。
图像处理 裂缝检测 VGG16 整体嵌套网络 混合空洞卷积 语义分割 激光与光电子学进展
2022, 59(10): 1010003
1 西安建筑科技大学信息与控制工程学院, 陕西 西安 710055
2 人工智能与数字经济广东省实验室(广州), 广东 广州 510000
人群密度估计在智能安全防范领域具有重要的应用价值。针对人群密度估计在二维图像中视角变化呈现较大差异、特征空间信息丢失、尺度特征和人群特征提取困难等问题,提出了一种多特征信息融合的人群密度估计方法。该方法通过注意力机制引导的空间注意力透视(Perspective of spatial attention,PSA)方法,对图像多视角信息进行了有效信息编码,获取了特征图的空间全局上下文信息,弱化了视角变化带来的影响;而后通过多尺度信息聚合(Multi-Scale Information Aggregation,MSIA)方法,利用多尺度非对称卷积与不同膨胀率的空洞卷积进行了有效融合,获取了较为全面的图像尺度及特征信息。最终通过细致语义特征嵌入融合的方式,补充了高层特征图的空间信息及低层特征图的语义信息,并使上下文信息与尺度信息相互补充,提高了模型的准确度与鲁棒性。采用ShanghaiTech、Mall、Worldexpo’10数据集进行了实验验证,实验结果表明,所提方法的性能较其他对比方法有一定的提升。
图像处理 卷积神经网络 人群密度 全局上下文信息 语义嵌入 激光与光电子学进展
2021, 58(20): 2010021
1 金陵科技学院材料工程学院, 南京 211100
2 合肥学院能源材料与化工学院, 合肥 230022
三元金属硫化物CuSbS2是一种所含元素地储丰富且环境友好的太阳能电池光吸收层材料，并且具有较高的光吸收系数、合适的带隙以及较低的熔点等特性，有望应用在建筑集成、公共基础建设以及便携电子产品等方面。本文首先综述了近些年各团队在CuSbS2薄膜上的不同制备方法，总结了Cu含量和热处理等对薄膜质量的影响，然后介绍了在太阳能电池方面的最新研究进展，比如电池器件的设计和转换效率的提升等，最后对CuSbS2薄膜太阳能电池的发展趋势作出展望。
CuSbS2薄膜 制备方法 太阳能电池 CuSbS2 thin film preparation method solar cell
